草庐IT

Amazon S3

全部标签

java - 为什么我不能再从 AWS S3 in Spark 应用程序读取数据?

我已经升级到ApacheSpark1.5.1,但我不确定这是否导致了它。我在spark-submit中有我的访问key,它一直有效。Exceptioninthread"main"java.lang.NoSuchMethodError:org.jets3t.service.impl.rest.httpclient.RestS3Service.(Lorg/jets3t/service/security/AWSCredentials;)VSQLContextsqlContext=newSQLContext(sc);DataFramedf=sqlContext.read().format("c

java - 如何连接 Apache Kafka 和 Amazon S3?

我想使用KafkaConnect将来自Kafka的数据存储到存储桶s3中。我已经运行了一个Kafka的主题,并且创建了一个存储桶s3。我的主题有关于Protobuffer的数据,我尝试使用https://github.com/qubole/streamx我得到了下一个错误:[2018-10-0413:35:46,512]INFORevokingpreviouslyassignedpartitions[]forgroupconnect-s3-sink(org.apache.kafka.clients.consumer.internals.ConsumerCoordinator:280)[

java - 使用 AWS Java SDK 为现有 S3 对象设置过期 header

我正在更新AmazonS3存储桶中的现有对象以设置一些元数据。我想为每个对象设置HTTPExpiresheader,以便更好地处理HTTP/1.0客户端。我们正在使用AWSJavaSDK,它允许在不重新上传对象内容的情况下更改对象的元数据。我们使用CopyObjectRequest来做到这一点将对象复制到自身。ObjectMetadata类允许我们设置Cache-Control、Content-Type和其他几个header。但不是Expiresheader。我知道S3使用RESTAPI为PUT对象存储和提供Expiresheader。有没有办法从JavaSDK执行此操作?已更新以表明

java - 如何读取 Amazon S3 中的文件内容

我在AmazonS3存储桶ABCD中有一个文件。我有3个对象("folderA/folderB/folderC/abcd.csv")是文件夹,在最后一个文件夹中我有一个.csv文件(abcd.csv)。我使用逻辑将其转换为JSON并将其加载回另一个文件,该文件是同一文件夹("folderA/folderB/文件夹C/abcd.txt")。为此,我必须在本地下载文件。我将如何直接读取文件并将其写回文本文件。下面是我用来写入S3文件的代码,我需要从S3读取文件。InputStreaminputStream=newByteArrayInputStream(json.getBytes(Stan

java - 如何在 Amazon SES SendRawEmail 中添加抄送和密送?

如何在sendrawemail(java)中添加抄送和密送收件人列表。我只是将所有收件人添加到一个列表中并发送邮件。没有单独的方法来为SendRawEmailRequest设置Cc和Bcc。有什么方法可以设置目标类型的对象吗?Listreceipients=newArrayList();receipients.addAll(mailToRecipients);receipients.addAll(mailCcRecipients);receipients.addAll(mailBccRecipients);SendRawEmailRequestrawEmailRequest=newSe

java - 由于授权无法访问 S3 预签名 URL

这个问题在这里已经有了答案:Theauthorizationmechanismyouhaveprovidedisnotsupported.PleaseuseAWS4-HMAC-SHA256(25个答案)关闭7年前。使用Java8和aws-java-sdk1.10.43我正在尝试获取S3文件的预签名URL。我确实找回了一个链接,但浏览它会导致这个错误:authorizationmechanismyouhaveprovidedisnotsupported.PleaseuseAWS4-HMAC-SHA256要强调的是,我希望生成一个可以通过电子邮件发送并在浏览器中打开的URL,而不是使用Ja

java - 从 JAVA API 获取 Amazon EC2 实例的公共(public) DNS

我已经成功地从JAVAAPI启动、停止和检查先前创建的EC2实例的状态。但是,我很难获得此实例的公共(public)DNS地址。由于我使用StartInstancesRequest启动实例并使用StartInstancesResponse获得响应,因此我无法检索实际的实例对象。下面给出了我的起始代码,它有效:BasicAWSCredentialsoAWSCredentials=newBasicAWSCredentials(sAccessKey,sSecretKey);AmazonEC2ec2=newAmazonEC2Client(oAWSCredentials);ec2.setEndp

java - Amazon Elasticache Auto Discovery - 客户端未初始化

我正在尝试使用AutoDiscovery测试Amazon的新Memcached客户端。我有一个可以使用XMemcached1.3.5以及标准SpyMemcached库连接到的memcached节点。我按照此处的说明进行操作:http://docs.amazonwebservices.com/AmazonElastiCache/latest/UserGuide/AutoDiscovery.html代码与示例几乎相同,并且是:StringconfigEndpoint=".rgcl8z.cfg.use1.cache.amazonaws.com";IntegerclusterPort=1121

java - 如何在 NetBeans 8.0 中启用 "JAX-RPC Web Services"插件

我正在尝试从位于的RPC(据称)编码的WSDL服务构建WS客户端https://www.fbo.gov/ws/fbo_api.php?wsdl我正在使用右键单击Web服务项目,创建新的Web服务客户端。wsdl是rpc编码的。要处理此wsdl,请安装“JAX-RPCWeb服务”插件。我尝试手动安装以下插件modules/org-netbeans-modules-websvc-jaxrpc16.nbmmodules/org-netbeans-modules-websvc-jaxrpckit.nbmmodules/org-netbeans-modules-websvc-jaxrpc.nbm

java - 读取 S3 文件时出现 "java.net.SocketException: Socket is closed"

我正在尝试从S3读取一个csv文本文件,然后将其中的每一行发送到分布式队列以进行处理。尝试读取它时,我在读取文件的不同点(在不同的执行中)收到“java.net.SocketException:套接字已关闭”异常。这是代码:AmazonS3s3=newAmazonS3Client(newPropertiesCredentials(MyClass.class.getResourceAsStream("myCredentials.properties")));StringbucketName="myBucket";Stringkey="myFile";S3Objectobject=s3.g